今天的任務是進一步優化爬蟲性能，特別是針對大規模數據抓取過程中的效率問題，因此我將對網路請求做一些改進，包括增加並發限制、處理網絡波動以及添加異常處理機制，從而保證爬蟲能夠在面對大量基因數據時依然穩定、高效。

並發限制：在爬蟲時向目標網站發送過多請求可能會導致被封禁，或伺服器無法處理大量請求，因此為了解決這個問題，我需要設定一個合理的並發限制，保證在高效爬取的同時不會過度使用伺服器。

import aiohttp
connector = aiohttp.TCPConnector(limit_per_host=100)  # 每個主機的最大並發連接數限制

上面這段 Code 設置了每個主機的最大並發連接數，這樣就可以控制同時發送到 Ensembl 網站的請求數量，避免過多請求導致的網路問題。

異常處理機制：在進行網路請求時，網路波動或伺服器問題可能導致某些請求失敗，因此為了讓爬蟲更加穩定，我需要加入異常處理機制，對失敗的請求進行重試。

async def fetch_gene_page(session, url, retries=3):
    for attempt in range(retries):
        try:
            async with session.get(url, timeout=10) as response:
                response.raise_for_status()  # 檢查是否有 HTTP 錯誤
                return await response.text()
        except (aiohttp.ClientError, aiohttp.http_exceptions.HttpProcessingError) as e:
            if attempt < retries - 1:
                await asyncio.sleep(2)  # 等待兩秒後重試
                continue
            else:
                return None  # 最終失敗則返回 None

在上面這段 Code 中，我使用了 try-except 來捕捉請求中的異常情況，並且通過重試機制來保證失敗的請求能夠再次嘗試，重試次數可以根據需要進行調整，這能有效提高數據抓取的成功率。

日誌系統：在這邊我還添加一個簡單的日誌系統用來記錄抓取過程中的錯誤和進展情況，這樣能幫助我更好的監控爬蟲的運行狀況。

import logging

# 設置日誌系統
logging.basicConfig(filename='爬蟲日誌.log', level=logging.INFO, format='%(asctime)s - %(message)s')

# 記錄錯誤
logging.error(f"Failed to fetch {url} after {retries} attempts.")

通過這樣的日誌系統，我可以將每個爬蟲過程中的錯誤記錄下來，方便後續進行調查和排查問題。

今天的優化工作為後續更大規模的基因數據爬取奠定了基礎，保證爬蟲在面對網絡波動或伺服器問題時仍然能夠穩定運行，並高效抓取需要的數據。